针对传统稀疏编码图像分类算法提取单一类型特征，忽略图像的空间结构信息，特征编码时无法充分利用特征拓扑结构信息的问题，提出了基于多尺度特征融合Hessian稀疏编码的图像分类算法（HSC）。首先，对图像进行空间金字塔多尺度划分；其次，在各个子空间层将方向梯度直方图（HOG）和尺度不变特征转换（SIFT）进行有效的融合；然后，为了充分利用特征的拓扑结构信息，在传统稀疏编码目标函数中引入二阶Hessian能量函数作为正则项；最后，利用支持向量机（SVM）进行分类。在Scene15数据集上的实验结果表明，HSC的准确率比局部约束线性编码（LLC）高了3~5个百分点，比支持区别性字典学习（SDDL）等对比方法高了1~3个百分点；在Caltech101数据集上的耗时实验结果表明，HSC的用时比多核学习稀疏编码（MKLSC）少40%左右。所提HSC可以有效提高图像分类准确率，算法的效率也优于对比算法。